AI资讯新闻榜单内容搜索-Llama 3.1

关键词: 微调,大模型,Llama-3.1,Felafax

随着 AI 模型的参数量越来越大，对算力的需求也水涨船高。

关键词: AI,Reflection 70B,Sonnet 3.5,大模型

「开源新王」Reflection 70B，才发布一个月就跌落神坛了？ 9月5日，Hyperwrite AI联创兼CEO Matt Shumer在X上扔出一则爆炸性消息—— 用Meta的开源Llama 3.1-70B，团队微调出了Reflection 70B。

关键词: LLM,AI,DisTrO,分布式互联网训练,模型训练

如果可以使用世界上所有的算力来训练AI模型，会怎么样？近日，凭借发布了开源的Hermes 3（基于Llama 3.1）而引起广泛关注的Nous Research，再次宣布了一项重大突破——DisTrO（分布式互联网训练）。

关键词: 大模型,AI,Reflection 70B,人工智能

快速更迭的开源大模型领域，又出现了新王：Reflection 70B。 横扫 MMLU、MATH、IFEval、GSM8K，在每项基准测试上都超过了 GPT-4o，还击败了 405B 的 Llama 3.1。 这个新模型 Reflection 70B，来自 AI 写作初创公司 HyperWrite。

关键词: meta,AI,模型训练,Llama 3.1

最近，Meta的多个工程团队联合发表了一篇论文，描述了在引入基于GPU的分布式训练时，他们如何为其「量身定制」专用的数据中心网络。

关键词: 数据标注,Llama 3,AI,模型训练

随着LLM不断迭代，偏好和评估数据中大量的人工标注逐渐成为模型扩展的显著障碍之一。Meta FAIR的团队最近提出了一种使用迭代式方法「自学成才」的评估模型训练方法，让70B参数的Llama-3-Instruct模型分数超过了Llama 3.1-405B。

关键词: GPT-4o,AI,Llama 3.1,Phi 3.5

微软Phi 3.5系列上新了！mini模型小而更美，MoE模型首次亮相，vision模型专注多模态。

关键词: Llama 3.1,蒸馏,模型蒸馏,AI,SLM

小模型崛起了。

关键词: Llama 3.1,微调,AI,Nous Research,模型训练

发布40天后，最强开源模型Llama 3.1 405B等来了微调版本的发布。但不是来自Meta，而是一个专注于开放模型的神秘初创Nous Research。

关键词: AI,Scaling Law,GPT-4o,Llama 8B

最近的论文表明，LLM等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅8B的Llama 3.1模型搜索100次，即可在Python代码生成任务上达到GPT-4o同等水平。